์ ์ธ๊ณ ๊ธฐ์ ์ ์ํ ํ ์คํธ ๋ถ์ ๋ฐ ํ ํฝ ๋ชจ๋ธ๋ง์ ํ์ ํ๊ตฌํ์ธ์. ๋น์ ํ ๋ฐ์ดํฐ์์ ์๋ฏธ ์๋ ์ฃผ์ ๋ฅผ ์ถ์ถํ๋ ๋ฐฉ๋ฒ์ ์์๋ณด์ธ์.
์ธ์ฌ์ดํธ ๋ฐ๊ฒฌ: ํ ์คํธ ๋ถ์ ๋ฐ ํ ํฝ ๋ชจ๋ธ๋ง ๊ธ๋ก๋ฒ ๊ฐ์ด๋
์ค๋๋ ์ ๋ฐ์ดํฐ ์ค์ฌ ์ธ๊ณ์์ ๊ธฐ์ ์ ์ ๋ณด์ ํ์์ ๋น ์ ธ ์์ต๋๋ค. ํ๋งค ์์น๋ ๊ณ ๊ฐ ์ธ๊ตฌ ํต๊ณ์ ๊ฐ์ ์ ํ ๋ฐ์ดํฐ๋ ๋น๊ต์ ๋ถ์ํ๊ธฐ ์ฝ์ง๋ง, ๊ด๋ํ ๊ฐ์น ์๋ ํต์ฐฐ๋ ฅ์ ๋ฐ๋ค๊ฐ ๋น์ ํ ํ ์คํธ ์์ ์จ๊ฒจ์ ธ ์์ต๋๋ค. ์ฌ๊ธฐ์๋ ๊ณ ๊ฐ ๋ฆฌ๋ทฐ์ ์์ ๋ฏธ๋์ด ๋ํ์์๋ถํฐ ์ฐ๊ตฌ ๋ ผ๋ฌธ๊ณผ ๋ด๋ถ ๋ฌธ์์ ์ด๋ฅด๊ธฐ๊น์ง ๋ชจ๋ ๊ฒ์ด ํฌํจ๋ฉ๋๋ค. ํ ์คํธ ๋ถ์, ๊ทธ๋ฆฌ๊ณ ๋ ๊ตฌ์ฒด์ ์ผ๋ก ํ ํฝ ๋ชจ๋ธ๋ง์ ์กฐ์ง์ด ์ด ๋น์ ํ ๋ฐ์ดํฐ๋ฅผ ํ์ํ๊ณ ์๋ฏธ ์๋ ์ฃผ์ , ์ถ์ธ ๋ฐ ํจํด์ ์ถ์ถํ ์ ์๊ฒ ํด์ฃผ๋ ๊ฐ๋ ฅํ ๊ธฐ์ ์ ๋๋ค.
์ด ์ข ํฉ ๊ฐ์ด๋๋ ํ ์คํธ ๋ถ์ ๋ฐ ํ ํฝ ๋ชจ๋ธ๋ง์ ํต์ฌ ๊ฐ๋ ์ ์์ธํ ์ดํด๋ณด๊ณ , ๊ทธ ์์ฉ ๋ถ์ผ, ๋ฐฉ๋ฒ๋ก ๋ฐ ๊ธ๋ก๋ฒ ๊ท๋ชจ๋ก ์ด์๋๋ ๊ธฐ์ ์ ์ ๊ณตํ๋ ์ด์ ์ ํ๊ตฌํฉ๋๋ค. ์ฐ๋ฆฌ๋ ๊ธฐ๋ณธ ์ฌํญ ์ดํด์์๋ถํฐ ์ด๋ฌํ ๊ธฐ์ ์ ํจ๊ณผ์ ์ผ๋ก ๊ตฌํํ๊ณ ๊ฒฐ๊ณผ๋ฅผ ํด์ํ๋ ๋ฐ ์ด๋ฅด๊ธฐ๊น์ง ๋ค์ํ ํ์ ์ฃผ์ ๋ฅผ ๋ค๋ฃฐ ๊ฒ์ ๋๋ค.
ํ ์คํธ ๋ถ์์ด๋ ๋ฌด์์ธ๊ฐ?
ํต์ฌ์ ์ผ๋ก ํ ์คํธ ๋ถ์์ ๋น์ ํ ํ ์คํธ ๋ฐ์ดํฐ๋ฅผ ๋ถ์ํ ์ ์๋ ์ ํ ์ ๋ณด๋ก ๋ณํํ๋ ํ๋ก์ธ์ค์ ๋๋ค. ์ฌ๊ธฐ์๋ ํ ์คํธ ๋ด์์ ์ฃผ์ ์ํฐํฐ, ๊ฐ์ , ๊ด๊ณ ๋ฐ ์ฃผ์ ๋ฅผ ์๋ณํ๊ธฐ ์ํด ์์ฐ์ด ์ฒ๋ฆฌ(NLP), ์ธ์ดํ ๋ฐ ๋จธ์ ๋ฌ๋๊ณผ ๊ฐ์ ๋ถ์ผ์ ์ผ๋ จ์ ๊ธฐ์ ์ด ํฌํจ๋ฉ๋๋ค. ์ฃผ์ ๋ชฉํ๋ ์ ๋ต์ ์์ฌ ๊ฒฐ์ ์ ์๋ฆฌ๊ณ , ๊ณ ๊ฐ ๊ฒฝํ์ ๊ฐ์ ํ๊ณ , ์ด์ ํจ์จ์ฑ์ ๋์ผ ์ ์๋ ์คํ ๊ฐ๋ฅํ ํต์ฐฐ๋ ฅ์ ์ป๋ ๊ฒ์ ๋๋ค.
ํ ์คํธ ๋ถ์์ ์ฃผ์ ๊ตฌ์ฑ ์์:
- ์์ฐ์ด ์ฒ๋ฆฌ(NLP): ์ด๋ ์ปดํจํฐ๊ฐ ์ธ๊ฐ์ ์ธ์ด๋ฅผ ์ดํด, ํด์ ๋ฐ ์์ฑํ ์ ์๋๋ก ํ๋ ๊ธฐ๋ณธ ๊ธฐ์ ์ ๋๋ค. NLP๋ ํ ํฐํ(ํ ์คํธ๋ฅผ ๋จ์ด ๋๋ ๊ตฌ๋ฌธ์ผ๋ก ๋ถ๋ฆฌ), ํ์ฌ ํ๊น , ๋ช ๋ช ๋ ์ํฐํฐ ์ธ์(์ฌ๋, ์กฐ์ง, ์์น ๋ฑ์ ์ด๋ฆ ์๋ณ) ๋ฐ ๊ฐ์ฑ ๋ถ์๊ณผ ๊ฐ์ ์์ ์ ํฌํจํฉ๋๋ค.
- ์ ๋ณด ๊ฒ์: ์ด๋ ์ฟผ๋ฆฌ๋ฅผ ๊ธฐ๋ฐ์ผ๋ก ๋๊ท๋ชจ ์ปฌ๋ ์ ์์ ๊ด๋ จ ๋ฌธ์ ๋๋ ์ ๋ณด ์กฐ๊ฐ์ ์ฐพ๋ ๊ฒ์ ํฌํจํฉ๋๋ค.
- ์ ๋ณด ์ถ์ถ: ์ด๋ ๋น์ ํ ํ ์คํธ์์ ํน์ ์ ํ ์ ๋ณด(์: ๋ ์ง, ์ด๋ฆ, ํตํ ๊ฐ์น)๋ฅผ ์ถ์ถํ๋ ๋ฐ ์ค์ ์ ๋ก๋๋ค.
- ๊ฐ์ฑ ๋ถ์: ์ด ๊ธฐ์ ์ ํ ์คํธ์ ํํ๋ ๊ฐ์ ์ ์ด์กฐ ๋๋ ์๊ฒฌ์ ๊ฒฐ์ ํ์ฌ ๊ธ์ ์ , ๋ถ์ ์ ๋๋ ์ค๋ฆฝ์ ์ผ๋ก ๋ถ๋ฅํฉ๋๋ค.
- ํ ํฝ ๋ชจ๋ธ๋ง: ์์ธํ ์ดํด๋ณด๊ฒ ์ง๋ง, ์ด๋ ๋ฌธ์ ๋ชจ์์์ ๋ฐ์ํ๋ ์ถ์์ ์ธ ์ฃผ์ ๋ฅผ ๋ฐ๊ฒฌํ๋ ๊ธฐ์ ์ ๋๋ค.
ํ ํฝ ๋ชจ๋ธ๋ง์ ํ
ํ ํฝ ๋ชจ๋ธ๋ง์ ํ ์คํธ ๋ถ์์ ํ์ ๋ถ์ผ๋ก์ ํ ์คํธ ์ฝํผ์ค ๋ด์์ ์ ์ฌ์ ์ธ ์ฃผ์ ๊ตฌ์กฐ๋ฅผ ์๋์ผ๋ก ๋ฐ๊ฒฌํ๋ ๊ฒ์ ๋ชฉํ๋ก ํฉ๋๋ค. ์์ฒ ๊ฐ์ ๋ฌธ์๋ฅผ ์๋์ผ๋ก ์ฝ๊ณ ๋ถ๋ฅํ๋ ๋์ ํ ํฝ ๋ชจ๋ธ๋ง ์๊ณ ๋ฆฌ์ฆ์ ๋ ผ์๋ ์ฃผ์ ์ฃผ์ ๋ฅผ ์๋ณํ ์ ์์ต๋๋ค. ์ ์ธ๊ณ์์ ์๋ฐฑ๋ง ๊ฐ์ ๊ณ ๊ฐ ํผ๋๋ฐฑ ์์์ ์ก์ธ์คํ ์ ์๋ค๊ณ ์์ํด๋ณด์ญ์์ค. ํ ํฝ ๋ชจ๋ธ๋ง์ ๋ค์ํ ์ง์ญ ๋ฐ ์ธ์ด์์ "์ ํ ํ์ง", "๊ณ ๊ฐ ์๋น์ค ์๋ต์ฑ" ๋๋ "๊ฐ๊ฒฉ ๋ฌธ์ "์ ๊ฐ์ ๋ฐ๋ณต๋๋ ์ฃผ์ ๋ฅผ ์ ์ํ๊ฒ ์๋ณํ๋ ๋ฐ ๋์์ด ๋ ์ ์์ต๋๋ค.
ํ ํฝ ๋ชจ๋ธ์ ์ถ๋ ฅ์ ์ผ๋ฐ์ ์ผ๋ก ํ ํฝ ์งํฉ์ด๋ฉฐ, ๊ฐ ํ ํฝ์ ํด๋น ํ ํฝ ๋ด์์ ํจ๊ป ๋ฐ์ํ ๊ฐ๋ฅ์ฑ์ด ๋์ ๋จ์ด ๋ถํฌ๋ก ํํ๋ฉ๋๋ค. ์๋ฅผ ๋ค์ด, "์ ํ ํ์ง" ํ ํฝ์ "๋ด๊ตฌ์ฑ์ด ๋ฐ์ด๋", "์ ๋ขฐํ ์ ์๋", "๊ฒฐํจ์ด ์๋", "๊ณ ์ฅ๋", "์ฑ๋ฅ" ๋ฐ "์ฌ๋ฃ"์ ๊ฐ์ ๋จ์ด๋ก ํน์ง์ง์ด์ง ์ ์์ต๋๋ค. ๋ง์ฐฌ๊ฐ์ง๋ก, "๊ณ ๊ฐ ์๋น์ค" ํ ํฝ์๋ "์ง์", "์๋ด์", "์๋ต", "๋์์ด ๋๋", "๋๊ธฐ ์๊ฐ" ๋ฐ "๋ฌธ์ "์ ๊ฐ์ ๋จ์ด๊ฐ ํฌํจ๋ ์ ์์ต๋๋ค.
๊ธ๋ก๋ฒ ๋น์ฆ๋์ค์ ํ ํฝ ๋ชจ๋ธ๋ง์ด ์ค์ํ ์ด์ ๋ ๋ฌด์์ ๋๊น?
์ธ๊ณํ๋ ์์ฅ์์ ๋ค์ํ ๊ณ ๊ฐ ๊ธฐ๋ฐ๊ณผ ์์ฅ ํธ๋ ๋๋ฅผ ์ดํดํ๋ ๊ฒ์ด ๊ฐ์ฅ ์ค์ํฉ๋๋ค. ํ ํฝ ๋ชจ๋ธ๋ง์ ๋ค์์ ์ ๊ณตํฉ๋๋ค.
- ๋ฌธํ ๊ฐ ์ดํด: ๋ค์ํ ๊ตญ๊ฐ์ ๊ณ ๊ฐ ํผ๋๋ฐฑ์ ๋ถ์ํ์ฌ ์ง์ญ๋ณ ๊ด์ฌ์ฌ ๋๋ ์ ํธ๋๋ฅผ ์๋ณํฉ๋๋ค. ์๋ฅผ ๋ค์ด, ๊ธ๋ก๋ฒ ์ ์ ์ ํ ์ ์กฐ์ ์ฒด๋ ํ ์ง์ญ์ ๊ณ ๊ฐ์ด ๋ฐฐํฐ๋ฆฌ ์๋ช ์ ์ฐ์ ์ํ๋ ๋ฐ๋ฉด, ๋ค๋ฅธ ์ง์ญ์ ๊ณ ๊ฐ์ ์นด๋ฉ๋ผ ํ์ง์ ์ค์ ์ ๋๋ค๋ ์ฌ์ค์ ๋ฐ๊ฒฌํ ์ ์์ต๋๋ค.
- ์์ฅ ํธ๋ ๋ ์๋ณ: ์ ๊ณ ๊ฐํ๋ฌผ, ๋ด์ค ๊ธฐ์ฌ ๋ฐ ์์ ๋ฏธ๋์ด์์ ์๋ก์ด ์ฃผ์ ๋ฅผ ์ถ์ ํ์ฌ ์ ์ธ๊ณ์ ์ผ๋ก ์์ฅ ๋ณํ์ ๊ฒฝ์์ฌ ํ๋์ ์์ ๋๊ฐ๋๋ค. ์ฌ๊ธฐ์๋ ์ง์ ๊ฐ๋ฅํ ์ ํ์ ๋ํ ๊ด์ฌ์ด ์ฆ๊ฐํ๊ฑฐ๋ ์๋ก์ด ๊ธฐ์ ํธ๋ ๋๊ฐ ์ธ๊ธฐ๋ฅผ ์ป๋ ๊ฒ์ ์๋ณํ๋ ๊ฒ์ด ํฌํจ๋ ์ ์์ต๋๋ค.
- ์ฝํ ์ธ ๊ตฌ์ฑ ๋ฐ ๊ฒ์: ๊ด๋ํ ๋ด๋ถ ๋ฌธ์, ์ฐ๊ตฌ ๋ ผ๋ฌธ ๋๋ ๊ณ ๊ฐ ์ง์ ๊ธฐ์ฌ๋ฅผ ๊ตฌ์ฑํ์ฌ ๋ค์ํ ์ฌ๋ฌด์ค ๋ฐ ๋ถ์์ ์ง์์ด ๊ด๋ จ ์ ๋ณด๋ฅผ ๋ ์ฝ๊ฒ ์ฐพ์ ์ ์๋๋ก ํฉ๋๋ค.
- ์ํ ๊ด๋ฆฌ: ๋ด์ค ๋ฐ ์์ ๋ฏธ๋์ด๋ฅผ ๋ชจ๋ํฐ๋งํ์ฌ ํน์ ์์ฅ์์ ์ ์ฌ์ ์ธ ์๊ธฐ ๋๋ ํํ ์ํ์ ๋ํ๋ผ ์ ์๋ ๋ธ๋๋ ๋๋ ์ ๊ณ์ ๊ด๋ จ๋ ํ ๋ก ์ ํ์ธํฉ๋๋ค.
- ์ ํ ๊ฐ๋ฐ: ๋ค์ํ ๊ธ๋ก๋ฒ ์์ฅ์ ๊ณ ๊ฐ ๋ฆฌ๋ทฐ ๋ฐ ํฌ๋ผ ํ ๋ก ์ ๋ถ์ํ์ฌ ์ถฉ์กฑ๋์ง ์์ ์๊ตฌ ์ฌํญ ๋๋ ์ํ๋ ๊ธฐ๋ฅ์ ์ฐพ์ต๋๋ค.
ํต์ฌ ํ ํฝ ๋ชจ๋ธ๋ง ์๊ณ ๋ฆฌ์ฆ
ํ ํฝ ๋ชจ๋ธ๋ง์๋ ์ฌ๋ฌ ์๊ณ ๋ฆฌ์ฆ์ด ์ฌ์ฉ๋๋ฉฐ, ๊ฐ ์๊ณ ๋ฆฌ์ฆ์๋ ๊ฐ์ ๊ณผ ์ฝ์ ์ด ์์ต๋๋ค. ๊ฐ์ฅ ์ธ๊ธฐ ์๊ณ ๋๋ฆฌ ์ฌ์ฉ๋๋ ๋ ๊ฐ์ง ๋ฐฉ๋ฒ์ ๋ค์๊ณผ ๊ฐ์ต๋๋ค.
1. ์ ์ฌ ๋๋ฆฌํด๋ ํ ๋น(LDA)
LDA๋ ์ฝํผ์ค์ ๊ฐ ๋ฌธ์๊ฐ ์ ์ ์์ ํ ํฝ์ ํผํฉ์ด๋ฉฐ, ๋ฌธ์์ ์๋ ๊ฐ ๋จ์ด์ ์กด์ฌ๋ ๋ฌธ์์ ํ ํฝ ์ค ํ๋์ ๊ธฐ์ธํ๋ค๊ณ ๊ฐ์ ํ๋ ์์ฑ์ ํ๋ฅ ๋ชจ๋ธ์ ๋๋ค. ์ด๋ ๋ฒ ์ด์ง์ ์ ๊ทผ ๋ฐฉ์์ผ๋ก, ๋ฌธ์์์ ๋จ์ด๊ฐ ํจ๊ป ๋ํ๋๋ ๋น๋์ ๋ฌธ์์์ ํ ํฝ์ด ํจ๊ป ๋ํ๋๋ ๋น๋๋ฅผ ๊ธฐ๋ฐ์ผ๋ก ์ด๋ฌํ ์ถ์ธก์ ๊ฐ์ ํ์ฌ ๊ฐ ๋ฌธ์์ ์๋ ๊ฐ ๋จ์ด๊ฐ ์ํ๋ ํ ํฝ์ ๋ฐ๋ณต์ ์ผ๋ก "์ถ์ธก"ํ๋ ๋ฐฉ์์ผ๋ก ์๋ํฉ๋๋ค.
LDA ์๋ ๋ฐฉ์(๊ฐ๋จํ):
- ์ด๊ธฐํ: ๊ฐ ๋ฌธ์์ ์๋ ๊ฐ ๋จ์ด๋ฅผ ๋ฏธ๋ฆฌ ์ ์๋ ํ ํฝ ์(K ํ ํฝ์ด๋ผ๊ณ ๊ฐ์ ) ์ค ํ๋์ ์์๋ก ํ ๋นํฉ๋๋ค.
- ๋ฐ๋ณต: ๊ฐ ๋ฌธ์์ ์๋ ๊ฐ ๋จ์ด์ ๋ํด ๋ค์ ๋ ๋จ๊ณ๋ฅผ ๋ฐ๋ณต์ ์ผ๋ก ์ํํฉ๋๋ค.
- ํ ํฝ ํ ๋น: ๋ค์ ๋ ๊ฐ์ง ํ๋ฅ ์ ๊ธฐ๋ฐ์ผ๋ก ๋จ์ด๋ฅผ ํ ํฝ์ ๋ค์ ํ ๋นํฉ๋๋ค.
- ์ด ํ ํฝ์ด ์ด ๋ฌธ์์ ํ ๋น๋ ํ๋ฅ (์ฆ, ์ด ํ ํฝ์ด ์ด ๋ฌธ์์์ ์ผ๋ง๋ ์ผ๋ฐ์ ์ธ๊ฐ).
- ์ด ๋จ์ด๊ฐ ์ด ํ ํฝ์ ์ํ ํ๋ฅ (์ฆ, ๋ชจ๋ ๋ฌธ์์์ ์ด ๋จ์ด๊ฐ ์ด ํ ํฝ์์ ์ผ๋ง๋ ์ผ๋ฐ์ ์ธ๊ฐ).
- ๋ถํฌ ์ ๋ฐ์ดํธ: ์ ํ ๋น์ ๊ธฐ๋ฐ์ผ๋ก ๋ฌธ์์ ๋ํ ํ ํฝ ๋ถํฌ์ ํ ํฝ์ ๋ํ ๋จ์ด ๋ถํฌ๋ฅผ ์ ๋ฐ์ดํธํฉ๋๋ค.
- ํ ํฝ ํ ๋น: ๋ค์ ๋ ๊ฐ์ง ํ๋ฅ ์ ๊ธฐ๋ฐ์ผ๋ก ๋จ์ด๋ฅผ ํ ํฝ์ ๋ค์ ํ ๋นํฉ๋๋ค.
- ์๋ ด: ํ ๋น์ด ์์ ๋ ๋๊น์ง, ์ฆ ํ ํฝ ํ ๋น์ ๋ณํ๊ฐ ๊ฑฐ์ ์์ ๋๊น์ง ๋ฐ๋ณต์ ๊ณ์ํฉ๋๋ค.
LDA์ ์ฃผ์ ๋งค๊ฐ๋ณ์:
- ํ ํฝ ์(K): ์ด๋ ์ฌ์ ์ ์ค์ ํด์ผ ํ๋ ์ค์ํ ๋งค๊ฐ๋ณ์์ ๋๋ค. ์ต์ ์ ํ ํฝ ์๋ฅผ ์ ํํ๋ ๊ฒ์ ์ข ์ข ์คํ๊ณผ ๋ฐ๊ฒฌ๋ ํ ํฝ์ ์ผ๊ด์ฑ์ ํ๊ฐํ๋ ๊ฒ์ ํฌํจํฉ๋๋ค.
- ์ํ(ฮฑ): ๋ฌธ์-ํ ํฝ ๋ฐ๋๋ฅผ ์ ์ดํ๋ ๋งค๊ฐ๋ณ์์ ๋๋ค. ์ํ ๊ฐ์ด ๋ฎ์ผ๋ฉด ๋ฌธ์๊ฐ ๋ ์ ์ ์์ ํ ํฝ์ ํผํฉ์ผ ๊ฐ๋ฅ์ฑ์ด ๋๊ณ , ์ํ ๊ฐ์ด ๋์ผ๋ฉด ๋ฌธ์๊ฐ ๋ ๋ง์ ์์ ํ ํฝ์ ํผํฉ์ผ ๊ฐ๋ฅ์ฑ์ด ๋์ต๋๋ค.
- ๋ฒ ํ(ฮฒ) ๋๋ ์ํ(ฮท): ํ ํฝ-๋จ์ด ๋ฐ๋๋ฅผ ์ ์ดํ๋ ๋งค๊ฐ๋ณ์์ ๋๋ค. ๋ฒ ํ ๊ฐ์ด ๋ฎ์ผ๋ฉด ํ ํฝ์ด ๋ ์ ์ ์์ ๋จ์ด์ ํผํฉ์ผ ๊ฐ๋ฅ์ฑ์ด ๋๊ณ , ๋ฒ ํ ๊ฐ์ด ๋์ผ๋ฉด ํ ํฝ์ด ๋ ๋ง์ ์์ ๋จ์ด์ ํผํฉ์ผ ๊ฐ๋ฅ์ฑ์ด ๋์ต๋๋ค.
์์ฉ ์์: ๊ธ๋ก๋ฒ ์ ์ ์๊ฑฐ๋ ํ๋ซํผ์ ๋ํ ๊ณ ๊ฐ ๋ฆฌ๋ทฐ ๋ถ์. LDA๋ "๋ฐฐ์ก ๋ฐ ๋ฐฐ๋ฌ"(๋จ์ด: "์ํฌ", "๋์ฐฉ", "๋ฆ์", "๋ฐฐ๋ฌ", "์ถ์ "), "์ ํ ์ฌ์ฉ์ฑ"(๋จ์ด: "์ฌ์", "์ฌ์ฉ", "์ด๋ ค์", "์ธํฐํ์ด์ค", "์ค์ ") ๋ฐ "๊ณ ๊ฐ ์ง์"(๋จ์ด: "๋์", "์๋ด์", "์๋น์ค", "์๋ต", "๋ฌธ์ ")๊ณผ ๊ฐ์ ํ ํฝ์ ๋ฐํ ์ ์์ต๋๋ค.
2. ๋น์์ ํ๋ ฌ ๋ถํด(NMF)
NMF๋ ๋ฌธ์-์ฉ์ด ํ๋ ฌ(ํ์ ๋ฌธ์๋ฅผ ๋ํ๋ด๊ณ ์ด์ ๋จ์ด๋ฅผ ๋ํ๋ด๋ฉฐ ๊ฐ์ ๋จ์ด ๋น๋ ๋๋ TF-IDF ์ ์๋ฅผ ๋ํ๋)์ ๋ ๊ฐ์ ํ์ ์์ ํ๋ ฌ, ์ฆ ๋ฌธ์-ํ ํฝ ํ๋ ฌ๊ณผ ํ ํฝ-๋จ์ด ํ๋ ฌ๋ก ๋ถํดํ๋ ํ๋ ฌ ๋ถํด ๊ธฐ์ ์ ๋๋ค. "๋น์์" ์ธก๋ฉด์ ๊ฒฐ๊ณผ ํ๋ ฌ์ ๋น์์ ๊ฐ๋ง ํฌํจ๋๋๋ก ๋ณด์ฅํ๋ฏ๋ก ์ค์ํ๋ฉฐ, ์ด๋ ํน์ง ๊ฐ์ค์น ๋๋ ๊ฐ๋๋ก ํด์๋ ์ ์์ต๋๋ค.
NMF ์๋ ๋ฐฉ์(๊ฐ๋จํ):
- ๋ฌธ์-์ฉ์ด ํ๋ ฌ(V): ๊ฐ ํญ๋ชฉ Vij๊ฐ ๋ฌธ์ i์์ ์ฉ์ด j์ ์ค์๋๋ฅผ ๋ํ๋ด๋ ํ๋ ฌ V๋ฅผ ๋ง๋ญ๋๋ค.
- ๋ถํด: V๋ฅผ V โ WH๊ฐ ๋๋๋ก ๋ ๊ฐ์ ํ๋ ฌ W(๋ฌธ์-ํ ํฝ)์ H(ํ ํฝ-๋จ์ด)๋ก ๋ถํดํฉ๋๋ค.
- ์ต์ ํ: ์๊ณ ๋ฆฌ์ฆ์ ํน์ ๋น์ฉ ํจ์๋ฅผ ์ฌ์ฉํ์ฌ V์ WH ๊ฐ์ ์ฐจ์ด๋ฅผ ์ต์ํํ๊ธฐ ์ํด W์ H๋ฅผ ๋ฐ๋ณต์ ์ผ๋ก ์ ๋ฐ์ดํธํฉ๋๋ค.
NMF์ ์ฃผ์ ์ธก๋ฉด:
- ํ ํฝ ์: LDA์ ๋ง์ฐฌ๊ฐ์ง๋ก ํ ํฝ ์(๋๋ ์ ์ฌ ํน์ง)๋ฅผ ์ฌ์ ์ ์ง์ ํด์ผ ํฉ๋๋ค.
- ํด์ ๊ฐ๋ฅ์ฑ: NMF๋ ์ข ์ข ํน์ง(๋จ์ด)์ ๊ฐ์ฐ ์กฐํฉ์ผ๋ก ํด์ ๊ฐ๋ฅํ ํ ํฝ์ ์์ฑํฉ๋๋ค. ์ด๋ ํนํ ์คํ์ค ๋ฐ์ดํฐ๋ฅผ ์ฒ๋ฆฌํ ๋ LDA์ ๋นํด ๋ ์ง๊ด์ ์ธ ํ ํฝ ํํ์ผ๋ก ์ด์ด์ง ์ ์์ต๋๋ค.
์์ฉ ์์: ๊ตญ์ ์ถ์ฒ์ ๋ด์ค ๊ธฐ์ฌ ๋ถ์. NMF๋ "์ง์ ํ"(๋จ์ด: "์ ๋ถ", "๊ตญ๊ฐ", "์ ์ฑ ", "์ ๊ฑฐ", "๊ตญ๊ฒฝ"), "๊ฒฝ์ "(๋จ์ด: "์์ฅ", "์ฑ์ฅ", "์ธํ๋ ์ด์ ", "๋ฌด์ญ", "ํ์ฌ") ๋ฐ "๊ธฐ์ "(๋จ์ด: "ํ์ ", "์ํํธ์จ์ด", "๋์งํธ", "์ธํฐ๋ท", "AI")๊ณผ ๊ฐ์ ํ ํฝ์ ์๋ณํ ์ ์์ต๋๋ค.
ํ ํฝ ๋ชจ๋ธ๋ง ๊ตฌํ์ ์ํ ์ค์ฉ์ ์ธ ๋จ๊ณ
ํ ํฝ ๋ชจ๋ธ๋ง ๊ตฌํ์๋ ๋ฐ์ดํฐ๋ฅผ ์ค๋นํ๋ ๊ฒ๋ถํฐ ๊ฒฐ๊ณผ๋ฅผ ํ๊ฐํ๋ ๊ฒ๊น์ง ์ผ๋ จ์ ๋จ๊ณ๊ฐ ํฌํจ๋ฉ๋๋ค. ๋ค์์ ์ผ๋ฐ์ ์ธ ์ํฌํ๋ก์ ๋๋ค.
1. ๋ฐ์ดํฐ ์์ง
์ฒซ ๋ฒ์งธ ๋จ๊ณ๋ ๋ถ์ํ ํ ์คํธ ๋ฐ์ดํฐ๋ฅผ ์์งํ๋ ๊ฒ์ ๋๋ค. ์ฌ๊ธฐ์๋ ๋ค์์ด ํฌํจ๋ ์ ์์ต๋๋ค.
- ์น์ฌ์ดํธ์์ ๋ฐ์ดํฐ ์คํฌ๋ํ(์: ์ ํ ๋ฆฌ๋ทฐ, ํฌ๋ผ ํ ๋ก , ๋ด์ค ๊ธฐ์ฌ).
- ๊ณ ๊ฐ ํผ๋๋ฐฑ, ์ง์ ํฐ์ผ ๋๋ ๋ด๋ถ ํต์ ๋ฐ์ดํฐ๋ฒ ์ด์ค์ ์ก์ธ์ค.
- ์์ ๋ฏธ๋์ด ํ๋ซํผ ๋๋ ๋ด์ค ์์ง๊ธฐ๋ฅผ ์ํ API ํ์ฉ.
๊ธ๋ก๋ฒ ๊ณ ๋ ค ์ฌํญ: ํ์ํ ๊ฒฝ์ฐ ๋ฐ์ดํฐ ์์ง ์ ๋ต์ด ์ฌ๋ฌ ์ธ์ด๋ฅผ ๊ณ ๋ คํ๋์ง ํ์ธํ์ญ์์ค. ๋ค๊ตญ์ด ๋ถ์์ ๊ฒฝ์ฐ ๋ฌธ์๋ฅผ ๋ฒ์ญํ๊ฑฐ๋ ๋ค๊ตญ์ด ํ ํฝ ๋ชจ๋ธ๋ง ๊ธฐ์ ์ ์ฌ์ฉํด์ผ ํ ์ ์์ต๋๋ค.
2. ๋ฐ์ดํฐ ์ ์ฒ๋ฆฌ
์์ ํ ์คํธ ๋ฐ์ดํฐ๋ ์ข ์ข ์ง์ ๋ถํ๊ณ ํ ํฝ ๋ชจ๋ธ๋ง ์๊ณ ๋ฆฌ์ฆ์ ๊ณต๊ธํ๊ธฐ ์ ์ ์ ๋ฆฌํด์ผ ํฉ๋๋ค. ์ผ๋ฐ์ ์ธ ์ ์ฒ๋ฆฌ ๋จ๊ณ๋ ๋ค์๊ณผ ๊ฐ์ต๋๋ค.
- ํ ํฐํ: ํ ์คํธ๋ฅผ ๊ฐ๋ณ ๋จ์ด ๋๋ ๊ตฌ๋ฌธ(ํ ํฐ)์ผ๋ก ๋ถ๋ฆฌ.
- ์๋ฌธ์ ๋ณํ: "Apple"๊ณผ "apple"๊ณผ ๊ฐ์ ๋จ์ด๋ฅผ ๋์ผํ๊ฒ ์ทจ๊ธํ๊ธฐ ์ํด ๋ชจ๋ ํ ์คํธ๋ฅผ ์๋ฌธ์๋ก ๋ณํ.
- ๊ตฌ๋์ ๋ฐ ํน์ ๋ฌธ์ ์ ๊ฑฐ: ์๋ฏธ์ ๊ธฐ์ฌํ์ง ์๋ ๋ฌธ์ ์ ๊ฑฐ.
- ๋ถ์ฉ์ด ์ ๊ฑฐ: ์์ฃผ ๋ํ๋์ง๋ง ์๋ฏธ๋ก ์ ๊ฐ์ค์น๊ฐ ๋์ง ์์ ์ผ๋ฐ์ ์ธ ๋จ์ด ์ ๊ฑฐ(์: "the", "a", "is", "in"). ์ด ๋ชฉ๋ก์ ๋๋ฉ์ธ๋ณ ๋๋ ์ธ์ด๋ณ๋ก ์ฌ์ฉ์ ์ ์ํ ์ ์์ต๋๋ค.
- ์ด๊ฐ ์ถ์ถ ๋๋ ํ์ ์ด ์ถ์ถ: ๋จ์ด๋ฅผ ์ด๊ทผ ํํ๋ก ์ถ์(์: "running", "ran", "runs"๋ฅผ "run"์ผ๋ก). ํ์ ์ด ์ถ์ถ์ ์ผ๋ฐ์ ์ผ๋ก ๋จ์ด์ ์ปจํ ์คํธ๋ฅผ ๊ณ ๋ คํ๊ณ ์ ํจํ ์ฌ์ ๋จ์ด(ํ์ ์ด)๋ฅผ ๋ฐํํ๋ฏ๋ก ์ ํธ๋ฉ๋๋ค.
- ์ซ์ ๋ฐ URL ์ ๊ฑฐ: ์ข ์ข ์ด๋ฌํ ํญ๋ชฉ์ ๋ ธ์ด์ฆ๊ฐ ๋ ์ ์์ต๋๋ค.
- ๋๋ฉ์ธ๋ณ ์ ๋ฌธ ์ฉ์ด ์ฒ๋ฆฌ: ์ ๊ณ๋ณ ์ฉ์ด๋ฅผ ์ ์งํ ์ง ์ ๊ฑฐํ ์ง ๊ฒฐ์ .
๊ธ๋ก๋ฒ ๊ณ ๋ ค ์ฌํญ: ์ ์ฒ๋ฆฌ ๋จ๊ณ๋ ๋ค๋ฅธ ์ธ์ด์ ๋ง๊ฒ ์กฐ์ ํด์ผ ํฉ๋๋ค. ๋ถ์ฉ์ด ๋ชฉ๋ก, ํ ํฐํ๊ธฐ ๋ฐ ํ์ ์ด ์ถ์ถ๊ธฐ๋ ์ธ์ด์ ๋ฐ๋ผ ๋ค๋ฆ ๋๋ค. ์๋ฅผ ๋ค์ด ๋ ์ผ์ด์ ๋ณตํฉ ๋จ์ด๋ ์ผ๋ณธ์ด์ ์ ์๋ฅผ ์ฒ๋ฆฌํ๋ ค๋ฉด ํน์ ์ธ์ด ๊ท์น์ด ํ์ํฉ๋๋ค.
3. ํน์ง ์ถ์ถ
ํ ์คํธ๊ฐ ์ ์ฒ๋ฆฌ๋๋ฉด ๋จธ์ ๋ฌ๋ ์๊ณ ๋ฆฌ์ฆ์ด ์ดํดํ ์ ์๋ ์ซ์ ํํ์ผ๋ก ๋ณํํด์ผ ํฉ๋๋ค. ์ผ๋ฐ์ ์ธ ๋ฐฉ๋ฒ์ ๋ค์๊ณผ ๊ฐ์ต๋๋ค.
- Bag-of-Words(BoW): ์ด ๋ชจ๋ธ์ ๋ฌธ๋ฒ๊ณผ ๋จ์ด ์์๋ฅผ ๋ฌด์ํ๊ณ ํ ์คํธ ๋ด ๋จ์ด์ ๋ฐ์์ผ๋ก ํ ์คํธ๋ฅผ ๋ํ๋ ๋๋ค. ์ดํ๊ฐ ์์ฑ๋๊ณ ๊ฐ ๋ฌธ์๋ ๊ฐ ์์๊ฐ ์ดํ์ ๋จ์ด์ ํด๋นํ๊ณ ๊ทธ ๊ฐ์ด ๋ฌธ์์์ ํด๋น ๋จ์ด์ ๊ฐ์์ธ ๋ฒกํฐ๋ก ํํ๋ฉ๋๋ค.
- TF-IDF(Term Frequency-Inverse Document Frequency): ์ด๋ ๋ฌธ์์ ๋น๋(TF)์ ์ ์ฒด ์ฝํผ์ค์์ ํฌ์์ฑ(IDF)์ ๊ธฐ๋ฐ์ผ๋ก ๋จ์ด์ ๊ฐ์ค์น๋ฅผ ํ ๋นํ๋ ๋ณด๋ค ์ ๊ตํ ๋ฐฉ๋ฒ์ ๋๋ค. TF-IDF ๊ฐ์ ํน์ ๋ฌธ์์ ์ค์ํ์ง๋ง ๋ชจ๋ ๋ฌธ์์์ ์ง๋์น๊ฒ ์ผ๋ฐ์ ์ด์ง ์์ ๋จ์ด๋ฅผ ๊ฐ์กฐ ํ์ํ์ฌ ๋งค์ฐ ๋น๋ฒํ ๋จ์ด์ ์ํฅ์ ์ค์ ๋๋ค.
4. ๋ชจ๋ธ ํ๋ จ
๋ฐ์ดํฐ๊ฐ ์ค๋น๋๊ณ ํน์ง์ด ์ถ์ถ๋๋ฉด ์ ํํ ํ ํฝ ๋ชจ๋ธ๋ง ์๊ณ ๋ฆฌ์ฆ(์: LDA ๋๋ NMF)์ ํ๋ จํ ์ ์์ต๋๋ค. ์ฌ๊ธฐ์๋ ๋ฌธ์-์ฉ์ด ํ๋ ฌ์ ์๊ณ ๋ฆฌ์ฆ์ ๊ณต๊ธํ๊ณ ์ํ๋ ํ ํฝ ์๋ฅผ ์ง์ ํ๋ ๊ฒ์ด ํฌํจ๋ฉ๋๋ค.
5. ํ ํฝ ํ๊ฐ ๋ฐ ํด์
์ด๊ฒ์ ์ค์ํ๊ณ ์ข ์ข ๋ฐ๋ณต์ ์ธ ๋จ๊ณ์ ๋๋ค. ๋จ์ํ ํ ํฝ์ ์์ฑํ๋ ๊ฒ๋ง์ผ๋ก๋ ์ถฉ๋ถํ์ง ์์ต๋๋ค. ํ ํฝ์ด ๋ํ๋ด๋ ๋ด์ฉ๊ณผ ์๋ฏธ๊ฐ ์๋์ง ์ดํดํด์ผ ํฉ๋๋ค.
- ํ ํฝ๋ณ ์์ ๋จ์ด ๊ฒํ : ๊ฐ ํ ํฝ ๋ด์์ ๊ฐ์ฅ ๋์ ํ๋ฅ ์ ๊ฐ์ง ๋จ์ด๋ฅผ ํ์ธํฉ๋๋ค. ์ด๋ฌํ ๋จ์ด๊ฐ ์งํฉ์ ์ผ๋ก ์ผ๊ด๋ ์ฃผ์ ๋ฅผ ํ์ฑํฉ๋๊น?
- ํ ํฝ ์ผ๊ด์ฑ: ํ ํฝ ํ์ง์ ํ๊ฐํ๊ธฐ ์ํด ์ ๋์ ๋ฉํธ๋ฆญ์ ์ฌ์ฉํฉ๋๋ค. ์ผ๊ด์ฑ ์ ์(์: C_v, UMass)๋ ํ ํฝ์ ์์ ๋จ์ด๊ฐ ์๋ฏธ๋ก ์ ์ผ๋ก ์ผ๋ง๋ ์ ์ฌํ์ง ์ธก์ ํฉ๋๋ค. ์ผ๋ฐ์ ์ผ๋ก ์ผ๊ด์ฑ์ด ๋์์๋ก ํด์ ๊ฐ๋ฅํ ํ ํฝ์ด ๋ง๋ค๋ ๊ฒ์ ์๋ฏธํฉ๋๋ค.
- ๋ฌธ์๋ณ ํ ํฝ ๋ถํฌ: ๊ฐ๋ณ ๋ฌธ์ ๋๋ ๋ฌธ์ ๊ทธ๋ฃน์์ ๊ฐ์ฅ ์ผ๋ฐ์ ์ธ ํ ํฝ์ ํ์ธํฉ๋๋ค. ์ด๋ ํน์ ๊ณ ๊ฐ ์ธ๊ทธ๋จผํธ ๋๋ ๋ด์ค ๊ธฐ์ฌ ๋ด์์ ์ฃผ์ ์ฃผ์ ๋ฅผ ์ดํดํ๋ ๋ฐ ๋์์ด ๋ ์ ์์ต๋๋ค.
- ์ธ๊ฐ ์ ๋ฌธ ์ง์: ๊ถ๊ทน์ ์ผ๋ก ์ธ๊ฐ์ ํ๋จ์ด ํ์์ ์ ๋๋ค. ๋๋ฉ์ธ ์ ๋ฌธ๊ฐ๋ ๋น์ฆ๋์ค ์ปจํ ์คํธ์์ ๊ด๋ จ์ฑ ๋ฐ ํด์ ๊ฐ๋ฅ์ฑ์ ํ์ธํ๊ธฐ ์ํด ํ ํฝ์ ๊ฒํ ํด์ผ ํฉ๋๋ค.
๊ธ๋ก๋ฒ ๊ณ ๋ ค ์ฌํญ: ๋ค๊ตญ์ด ๋ฐ์ดํฐ ๋๋ ๋ค๋ฅธ ๋ฌธํ๊ถ์ ๋ฐ์ดํฐ์์ ํ์๋ ํ ํฝ์ ํด์ํ ๋ ์ธ์ด ๋ฐ ์ปจํ ์คํธ์ ๋์์ค์ ์ ์ํ์ญ์์ค. ๋จ์ด๋ ๋ค๋ฅธ ์ง์ญ์์ ์ฝ๊ฐ ๋ค๋ฅธ ์๋ฏธ ๋๋ ๊ด๋ จ์ฑ์ ๊ฐ์ง ์ ์์ต๋๋ค.
6. ์๊ฐํ ๋ฐ ๋ณด๊ณ
ํ ํฝ๊ณผ ๊ทธ ๊ด๊ณ๋ฅผ ์๊ฐํํ๋ฉด ์ดํด์ ์ปค๋ฎค๋์ผ์ด์ ์ ํฌ๊ฒ ๋์์ด ๋ ์ ์์ต๋๋ค. pyLDAvis ๋๋ ๋ํํ ๋์๋ณด๋์ ๊ฐ์ ๋๊ตฌ๋ฅผ ์ฌ์ฉํ๋ฉด ํ ํฝ, ๋จ์ด ๋ถํฌ ๋ฐ ๋ฌธ์์์์ ์ผ๋ฐ์ฑ์ ํ์ํ ์ ์์ต๋๋ค.
์คํ ๊ฐ๋ฅํ ํต์ฐฐ๋ ฅ์ ๊ฐ์กฐํ๋ฉด์ ๊ฒฐ๊ณผ๋ฅผ ๋ช ํํ๊ฒ ์ ์ํ์ญ์์ค. ์๋ฅผ ๋ค์ด ํน์ ์ ํฅ ์์ฅ์ ๋ฆฌ๋ทฐ์์ "์ ํ ๊ฒฐํจ"๊ณผ ๊ด๋ จ๋ ํ ํฝ์ด ๋๋๋ฌ์ง๊ฒ ๋ํ๋๋ฉด ์ถ๊ฐ ์กฐ์ฌ์ ์ ์ฌ์ ์กฐ์น๊ฐ ํ์ํฉ๋๋ค.
๊ณ ๊ธ ํ ํฝ ๋ชจ๋ธ๋ง ๊ธฐ์ ๋ฐ ๊ณ ๋ ค ์ฌํญ
LDA์ NMF๋ ๊ธฐ๋ณธ์ด์ง๋ง ๋ช ๊ฐ์ง ๊ณ ๊ธ ๊ธฐ์ ๊ณผ ๊ณ ๋ ค ์ฌํญ์ด ํ ํฝ ๋ชจ๋ธ๋ง ๋ ธ๋ ฅ์ ํฅ์์ํฌ ์ ์์ต๋๋ค.
1. ๋์ ํ ํฝ ๋ชจ๋ธ
์ด๋ฌํ ๋ชจ๋ธ์ ์ฌ์ฉํ๋ฉด ์๊ฐ์ด ์ง๋จ์ ๋ฐ๋ผ ํ ํฝ์ด ์งํํ๋ ๋ฐฉ์์ ์ถ์ ํ ์ ์์ต๋๋ค. ์ด๋ ์์ฅ ๊ฐ์ , ์๋ก์ด ํธ๋ ๋ ๋๋ ๊ณ ๊ฐ ๊ด์ฌ์ฌ์ ๋ณํ๋ฅผ ์ดํดํ๋ ๋ฐ ๋งค์ฐ ์ค์ํฉ๋๋ค. ์๋ฅผ ๋ค์ด ํ์ฌ๋ ์ง๋ 1๋ ๋์ ๊ณ ๊ฐ ํ ๋ก ์์ "์จ๋ผ์ธ ๋ณด์"๊ณผ ๊ด๋ จ๋ ํ ํฝ์ด ์ ์ ๋ ๋๋๋ฌ์ง๋ ๊ฒ์ ๊ด์ฐฐํ ์ ์์ต๋๋ค.
2. ์ง๋ ๋ฐ ์ค์ง๋ ํ ํฝ ๋ชจ๋ธ
๊ธฐ์กด ํ ํฝ ๋ชจ๋ธ์ ์ฌ์ ์ง์ ์์ด ํ ํฝ์ ๋ฐ๊ฒฌํ๋ ๋น์ง๋ ๋ฐฉ์์ ๋๋ค. ์ง๋ ๋๋ ์ค์ง๋ ์ ๊ทผ ๋ฐฉ์์ ๋ ์ด๋ธ์ด ์ง์ ๋ ๋ฐ์ดํฐ๋ฅผ ํตํฉํ์ฌ ํ ํฝ ๊ฒ์ ํ๋ก์ธ์ค๋ฅผ ์๋ดํ ์ ์์ต๋๋ค. ์ด๋ ๋ฌธ์์ ๋ํ ๊ธฐ์กด ์นดํ ๊ณ ๋ฆฌ ๋๋ ๋ ์ด๋ธ์ด ์๊ณ ํ ํฝ์ด ๋ฌธ์์ ์ด๋ป๊ฒ ์ผ์นํ๋์ง ํ์ธํ๋ ค๋ ๊ฒฝ์ฐ์ ์ ์ฉํ ์ ์์ต๋๋ค.
3. ๊ต์ฐจ ์ธ์ด ํ ํฝ ๋ชจ๋ธ
์ฌ๋ฌ ์ธ์ด ์์ฅ์์ ์ด์๋๋ ์กฐ์ง์ ๊ฒฝ์ฐ ๊ต์ฐจ ์ธ์ด ํ ํฝ ๋ชจ๋ธ(CLTM)์ด ํ์์ ์ ๋๋ค. ์ด๋ฌํ ๋ชจ๋ธ์ ์๋ก ๋ค๋ฅธ ์ธ์ด๋ก ์์ฑ๋ ๋ฌธ์์์ ๊ณตํต ํ ํฝ์ ๊ฒ์ํ์ฌ ๊ธ๋ก๋ฒ ๊ณ ๊ฐ ํผ๋๋ฐฑ ๋๋ ์์ฅ ์ ๋ณด์ ํตํฉ ๋ถ์์ ๊ฐ๋ฅํ๊ฒ ํ ์ ์์ต๋๋ค.
4. ๊ณ์ธต์ ํ ํฝ ๋ชจ๋ธ
์ด๋ฌํ ๋ชจ๋ธ์ ํ ํฝ ์์ฒด๊ฐ ๊ณ์ธต์ ๊ตฌ์กฐ๋ฅผ ๊ฐ์ง๋ฉฐ ๊ด๋ฒ์ํ ํ ํฝ์ ๋ ๊ตฌ์ฒด์ ์ธ ํ์ ํ ํฝ์ด ํฌํจ๋์ด ์๋ค๊ณ ๊ฐ์ ํฉ๋๋ค. ์ด๋ ๋ณต์กํ ์ฃผ์ ์ ๋ํ ๋ ๋ฏธ๋ฌํ ์ดํด๋ฅผ ์ ๊ณตํ ์ ์์ต๋๋ค.
5. ์ธ๋ถ ์ง์ ํตํฉ
์ธ๋ถ ์ง์ ๋ฒ ์ด์ค, ์จํจ๋ก์ง ๋๋ ๋จ์ด ์๋ฒ ๋ฉ์ ํตํฉํ์ฌ ํ ํฝ ๋ชจ๋ธ์ ๊ฐ์ ํ์ฌ ํ ํฝ ํด์ ๊ฐ๋ฅ์ฑ์ ๊ฐ์ ํ๊ณ ์๋ฏธ๋ก ์ ์ผ๋ก ๋ ํ๋ถํ ํ ํฝ์ ๋ฐ๊ฒฌํ ์ ์์ต๋๋ค.
ํ ํฝ ๋ชจ๋ธ๋ง์ ์ค์ ๊ธ๋ก๋ฒ ์์ฉ
ํ ํฝ ๋ชจ๋ธ๋ง์ ๋ค์ํ ์ฐ์ ๋ฐ ๊ธ๋ก๋ฒ ์ปจํ ์คํธ์์ ๊ด๋ฒ์ํ ์์ฉ ๋ถ์ผ๋ฅผ ๊ฐ์ง๊ณ ์์ต๋๋ค.
- ๊ณ ๊ฐ ํผ๋๋ฐฑ ๋ถ์: ๊ธ๋ก๋ฒ ํธํ ์ฒด์ธ์ ์ ์ธ๊ณ ์๋ฐฑ ๊ฐ์ ํธํ ์์ ์๋ ๋ฆฌ๋ทฐ๋ฅผ ๋ถ์ํ์ฌ ์ผ๋ฐ์ ์ธ ์นญ์ฐฌ๊ณผ ๋ถ๋ง์ ์๋ณํ ์ ์์ต๋๋ค. ์ด๋ "์ง์ ์น์ "์ด ๋๋ถ๋ถ์ ์์น์์ ์ผ๊ด๋ ๊ธ์ ์ ์ธ ์ฃผ์ ์ด์ง๋ง "Wi-Fi ์๋"๊ฐ ํน์ ์์์ ์์ฅ์์ ๋น๋ฒํ ๋ฌธ์ ๋ผ๋ ๊ฒ์ ๋ฐํ ํ์ ๊ฐ์ ์ ์ ๋ํ ์ ์์ต๋๋ค.
- ์์ฅ ์กฐ์ฌ: ์๋์ฐจ ์ ์กฐ์ ์ฒด๋ ์ ๊ณ ๋ด์ค, ๊ฒฝ์์ฌ ๋ณด๊ณ ์ ๋ฐ ์๋น์ ํฌ๋ผ์ ์ ์ธ๊ณ์ ์ผ๋ก ๋ถ์ํ์ฌ ๋ค์ํ ์ง์ญ์์ ์ ๊ธฐ ์๋์ฐจ, ์์จ ์ฃผํ ๋๋ ์ง์ ๊ฐ๋ฅ์ฑ ์ ํธ๋์ ๋ํ ์๋ก์ด ํธ๋ ๋๋ฅผ ์๋ณํ ์ ์์ต๋๋ค.
- ์ฌ๋ฌด ๋ถ์: ํฌ์ ํ์ฌ๋ ๊ธ๋ก๋ฒ ๊ธฐ์ ์ ์ฌ๋ฌด ๋ด์ค, ๋ถ์๊ฐ ๋ณด๊ณ ์ ๋ฐ ์์ต ํตํ ๊ธฐ๋ก์ ๋ถ์ํ์ฌ ์์ฅ ์ฌ๋ฆฌ ๋ฐ ํฌ์ ๊ธฐํ์ ์ํฅ์ ๋ฏธ์น๋ ์ฃผ์ ์ฃผ์ ๋ฅผ ์๋ณํ ์ ์์ต๋๋ค. ์๋ฅผ ๋ค์ด ํน์ ๋ถ๋ฌธ์ ์ํฅ์ ๋ฏธ์น๋ "๊ณต๊ธ๋ง ์ค๋จ"์ด๋ผ๋ ์ฃผ์ ๊ฐ ์ฆ๊ฐํ๊ณ ์์์ ๊ฐ์งํ ์ ์์ต๋๋ค.
- ํ์ ์ฐ๊ตฌ: ์ฐ๊ตฌ์๋ ํ ํฝ ๋ชจ๋ธ๋ง์ ์ฌ์ฉํ์ฌ ๋๊ท๋ชจ ๊ณผํ ๋ฌธํ์ ๋ถ์ํ์ฌ ์๋ก์ด ์ฐ๊ตฌ ๋ถ์ผ๋ฅผ ์๋ณํ๊ณ , ๊ณผํ์ ์ฌ๊ณ ์ ์งํ๋ฅผ ์ถ์ ํ๊ฑฐ๋, ๊ตญ์ ํ๋ ฅ์ ํตํด ๋ค์ํ ์ฐ๊ตฌ ๋ถ์ผ ๊ฐ์ ์ฐ๊ฒฐ ๊ณ ๋ฆฌ๋ฅผ ๋ฐ๊ฒฌํ ์ ์์ต๋๋ค.
- ๊ณต์ค ๋ณด๊ฑด ๋ชจ๋ํฐ๋ง: ๊ณต์ค ๋ณด๊ฑด ๊ธฐ๊ด์ ๋ค์ํ ์ธ์ด๋ก ๋ ์์ ๋ฏธ๋์ด ๋ฐ ๋ด์ค ๋ณด๊ณ ์๋ฅผ ๋ถ์ํ์ฌ ์ง๋ณ ๋ฐ์, ๊ณต์ค ๋ณด๊ฑด ๋ฌธ์ ๋๋ ๋ค์ํ ๊ตญ๊ฐ์ ๋ณด๊ฑด ์ ์ฑ ์ ๋ํ ๋ฐ์๊ณผ ๊ด๋ จ๋ ํ ๋ก ์ ์๋ณํ ์ ์์ต๋๋ค.
- ์ธ์ ์์: ๊ธฐ์ ์ ๊ธ๋ก๋ฒ ์ธ๋ ฅ์ ์ง์ ํผ๋๋ฐฑ ์ค๋ฌธ ์กฐ์ฌ๋ฅผ ๋ถ์ํ์ฌ ์ง๋ฌด ๋ง์กฑ๋, ๊ด๋ฆฌ ๋๋ ํ์ฌ ๋ฌธํ์ ๊ด๋ จ๋ ์ผ๋ฐ์ ์ธ ์ฃผ์ ๋ฅผ ์๋ณํ์ฌ ์ง์ญ ์ปจํ ์คํธ์ ๋ง์ถ ๊ฐ์ ์์ญ์ ๊ฐ์กฐ ํ์ํ ์ ์์ต๋๋ค.
๊ณผ์ ๋ฐ ๋ชจ๋ฒ ์ฌ๋ก
๊ฐ๋ ฅํ์ง๋ง ํ ํฝ ๋ชจ๋ธ๋ง์๋ ์ด๋ ค์์ด ์๋ ๊ฒ์ ์๋๋๋ค.
- ํ ํฝ ์(K) ์ ํ: ์ด๋ ์ข ์ข ์ฃผ๊ด์ ์ด๋ฉฐ ์คํ์ด ํ์ํฉ๋๋ค. ๋จ์ผ "์ ํํ" ์ซ์๋ ์์ต๋๋ค.
- ํ ํฝ ํด์ ๊ฐ๋ฅ์ฑ: ํ ํฝ์ ํญ์ ์ฆ์ ๋ช ํํ์ง ์์ผ๋ฉฐ ์ดํดํ๋ ค๋ฉด ์ ์คํ ๊ฒํ ์ ๋๋ฉ์ธ ์ง์์ด ํ์ํ ์ ์์ต๋๋ค.
- ๋ฐ์ดํฐ ํ์ง: ์ ๋ ฅ ๋ฐ์ดํฐ์ ํ์ง์ ๋ฐ๊ฒฌ๋ ํ ํฝ์ ํ์ง์ ์ง์ ์ ์ธ ์ํฅ์ ๋ฏธ์นฉ๋๋ค.
- ์ปดํจํ ๋ฆฌ์์ค: ํนํ ๋ณต์กํ ๋ชจ๋ธ์ ์ฌ์ฉํ์ฌ ๋งค์ฐ ํฐ ์ฝํผ์ค๋ฅผ ์ฒ๋ฆฌํ๋ ๊ฒ์ ์ปดํจํ ์ง์ฝ์ ์ผ ์ ์์ต๋๋ค.
- ์ธ์ด ๋ค์์ฑ: ์ฌ๋ฌ ์ธ์ด๋ฅผ ์ฒ๋ฆฌํ๋ฉด ์ ์ฒ๋ฆฌ ๋ฐ ๋ชจ๋ธ ๊ตฌ์ถ์ ์๋นํ ๋ณต์ก์ฑ์ด ์ถ๊ฐ๋ฉ๋๋ค.
์ฑ๊ณต์ ์ํ ๋ชจ๋ฒ ์ฌ๋ก:
- ๋ช ํํ ๋ชฉํ๋ถํฐ ์์: ํ ์คํธ ๋ฐ์ดํฐ์์ ์ป์ผ๋ ค๋ ํต์ฐฐ๋ ฅ์ ์ดํดํฉ๋๋ค.
- ์ฒ ์ ํ ๋ฐ์ดํฐ ์ ์ฒ๋ฆฌ: ๋ฐ์ดํฐ๋ฅผ ์ ๋ฆฌํ๊ณ ์ค๋นํ๋ ๋ฐ ์๊ฐ์ ํฌ์ํฉ๋๋ค.
- ๋ฐ๋ณต์ ์ธ ๋ชจ๋ธ ๊ฐ์ : ๋ค์ํ ํ ํฝ ์์ ๋ชจ๋ธ ๋งค๊ฐ๋ณ์๋ฅผ ์คํํฉ๋๋ค.
- ์ ๋์ ๋ฐ ์ ์ฑ์ ํ๊ฐ ๊ฒฐํฉ: ์ผ๊ด์ฑ ์ ์์ ์ธ๊ฐ์ ํ๋จ์ ์ฌ์ฉํ์ฌ ํ ํฝ ํ์ง์ ํ๊ฐํฉ๋๋ค.
- ๋๋ฉ์ธ ์ ๋ฌธ ์ง์ ํ์ฉ: ํด์ ํ๋ก์ธ์ค์ ์ฃผ์ ์ ๋ฌธ๊ฐ๋ฅผ ์ฐธ์ฌ์ํต๋๋ค.
- ๊ธ๋ก๋ฒ ์ปจํ ์คํธ ๊ณ ๋ ค: ๋ฐ์ดํฐ์ ํน์ ์ธ์ด ๋ฐ ๋ฌธํ์ ๋ง๊ฒ ์ ์ฒ๋ฆฌ์ ํด์์ ์กฐ์ ํฉ๋๋ค.
- ์ ์ ํ ๋๊ตฌ ์ฌ์ฉ: ํ ํฝ ๋ชจ๋ธ๋ง ์๊ณ ๋ฆฌ์ฆ์ ๊ตฌํํ๊ธฐ ์ํด Gensim, Scikit-learn ๋๋ spaCy์ ๊ฐ์ ๋ผ์ด๋ธ๋ฌ๋ฆฌ๋ฅผ ํ์ฉํฉ๋๋ค.
๊ฒฐ๋ก
ํ ํฝ ๋ชจ๋ธ๋ง์ ๊ด๋ํ๊ณ ์ฆ๊ฐํ๋ ๋น์ ํ ํ ์คํธ ๋ฐ์ดํฐ์์ ๊ฐ์น ์๋ ํต์ฐฐ๋ ฅ์ ์ป์ผ๋ ค๋ ๋ชจ๋ ์กฐ์ง์๊ฒ ์์ด์๋ ์ ๋ ๋๊ตฌ์ ๋๋ค. ๊ธฐ๋ณธ ์ฃผ์ ์ ํ ํฝ์ ๋ฐํ๋์ผ๋ก์จ ๊ธฐ์ ์ ๊ธ๋ก๋ฒ ๊ท๋ชจ๋ก ๊ณ ๊ฐ, ์์ฅ ๋ฐ ์ด์์ ๋ํ ๋ ๊น์ ์ดํด๋ฅผ ์ป์ ์ ์์ต๋๋ค. ๋ฐ์ดํฐ๊ฐ ๊ณ์ ํ์ฐ๋จ์ ๋ฐ๋ผ ํ ์คํธ๋ฅผ ํจ๊ณผ์ ์ผ๋ก ๋ถ์ํ๊ณ ํด์ํ๋ ๋ฅ๋ ฅ์ ๊ตญ์ ๋ฌด๋์์ ์ฑ๊ณต์ ์ํ ์ ์ ๋ ์ค์ํ ์ฐจ๋ณํ ์์๊ฐ ๋ ๊ฒ์ ๋๋ค.
ํ ์คํธ ๋ถ์ ๋ฐ ํ ํฝ ๋ชจ๋ธ๋ง์ ํ์ ํ์ฉํ์ฌ ๋ฐ์ดํฐ๋ฅผ ๋ ธ์ด์ฆ์์ ์คํ ๊ฐ๋ฅํ ์ ๋ณด๋ก ์ ํํ์ฌ ์กฐ์ง ์ ์ฒด์์ ํ์ ๊ณผ ์ ๋ณด์ ์ ๊ฐํ ์์ฌ ๊ฒฐ์ ์ ์ถ์งํ์ญ์์ค.